iT邦幫忙

2019 iT 邦幫忙鐵人賽

DAY 18
0
AI & Data

當自動駕駛遇見AI系列 第 18

Day18-當自動駕駛遇見AI- 梯度下降法(Gradient Descent Algorithm)

  • 分享至 

  • xImage
  •  

前言

梯度下降法(Gradient Descent Algorithm)是一個一階最佳化算法,通常也稱為最速下降法。 要使用梯度下降法找到一個函數的局部極小值,必須向函數上當前點對應梯度(或者是近似梯度)的反方向的規定步長距離點進行疊代搜索[1]。

說明

梯度下降是找到函數最小值的一種方法。在神經網絡的情況下,我們想要最小化的功能是成本函數。梯度下降通過調整網絡參數來實現,這樣我們從成本函數中獲得的值比以前更低。從某種意義上說,梯度下降盡可能“下坡”,就像螞蟻感覺到地形的斜坡一樣。每當它向下移動時,梯度下降通過更新每個神經元中的權重和偏差來“節省”其進度。最終,梯度下降將找到成本函數的最底層[2]。
如下圖,讓我們回到我們的神經網絡,只需一個旋鈕,機器學習術語中,這些“旋鈕”被稱為神經網絡的參數。如果我們將這些旋鈕調到正確的位置,那麼對於任何輸入我們都可以得到我們想要的輸出。並假設我們當前對旋鈕設置(或重量)的估計是 We。 如果我們的成本函數形狀像一個碗,我們可以找到成本函數的斜率,並更接近最佳旋鈕設置Wo。 此過程稱為漸變下降,因為我們基於斜率(漸變)向下移動(下降)曲線。當您到達碗的底部時,坡度或坡度變為零,這樣就完成了訓練。 這些碗狀功能在技術上稱為凸函數。

https://ithelp.ithome.com.tw/upload/images/20181102/20107143Hj0QAOQgGW.png

參考

1.梯度下降法(Gradient descent)@維基百科
2.機器學習@Berkeley


上一篇
Day17-當自動駕駛遇見AI-反向傳播演算法(Backpropagation)
下一篇
Day19-當自動駕駛遇見AI- Project2: Advanced Lane Finding(1)
系列文
當自動駕駛遇見AI30
圖片
  直播研討會
圖片
{{ item.channelVendor }} {{ item.webinarstarted }} |
{{ formatDate(item.duration) }}
直播中

尚未有邦友留言

立即登入留言